JP2018109940A - 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム - Google Patents

Abstract

【課題】仮想空間におけるユーザの仮想体験を改善することが可能な情報処理方法及び当該情報処理方法をコンピュータに実現させるためのプログラムを提供する。【解決手段】情報処理方法は、（ａ）アバター４Ａと、アバター４Ｂと、アバター４Ｃとを含む仮想空間２００Ａを規定する仮想空間データを生成するステップと、（ｂ）ユーザ端末１ＡのＨＭＤの動きに応じて、アバター４Ａの視野ＣＶを更新するステップと、（ｃ）アバター４Ａの視野ＣＶと仮想空間データに基づいて、ユーザ端末１ＡのＨＭＤに視野画像Ｖを表示するステップと、（ｄ）ユーザ端末１Ｂのマイクに音声が入力された場合、入力された音声を示す音声データをユーザ端末１Ｂから受信するステップと、（ｅ）ステップ（ｄ）の後に、ユーザ端末１ＡのＨＭＤに表示される視野画像Ｖ上において、アバター４Ｂの視線オブジェクト５Ｂの表示態様を変化させるステップと、を含む。【選択図】図１３

Description

本開示は、情報処理方法および当該情報処理方法をコンピュータに実行させるためのプログラムに関する。

ヘッドマウントデバイス（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｅｖｉｃｅ：以下、単にＨＭＤという。）を装着した複数のユーザ間でネットワークを介して仮想空間を共有することが知られている。仮想空間は、例えばＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）空間、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）空間またはＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ） 空間等である。の特許文献１では、ネットワークを介して接続された複数のクライアント装置に仮想現実空間を提供するサーバ装置が開示されており、仮想現実空間内のオブジェクトを指し示すアバターの動作に応じて、オブジェクトを示す参照マークが生成される。特に、特許文献１は、チャットメッセージに含まれる所定の指示代名詞を条件として、オブジェクトを示す参照マークを生成することを開示している。

一方、特許文献２は、コンテンツを共有する複数のユーザにおいて、共通のオブジェクトに対して視線を向けているユーザのみが音声情報を相互に交換することができる情報処理システムを開示している。

また、特許文献３には、仮想空間内に仮想映画館を提供する技術が開示されている。特に、特許文献３では、仮想空間内に仮想スクリーンと、仮想ビデオプロジェクタと、仮想映画館を構成する特定の素子（仮想座席等）を配置することで、ＨＭＤを装着したユーザに仮想映画館での映画視聴体験を提供する技術が開示されている。

特開２００９−１２３００１号公報 国際公開第２０１６／００２４４５号 米国特許第９３９６５８８号明細書

ところで、複数のユーザによって仮想空間が共有される場合、各ユーザは、ＨＭＤを通じて特定のオブジェクト（例えば、映像コンテンツが表示される仮想スクリーン等）を見ながら、マイクやヘッドフォンを用いて会話を楽しむことが想定される。例えば、複数のユーザが仮想スクリーン上に表示された映像コンテンツを視聴している間、複数のユーザの一人が映像コンテンツの特定のシーンになったときに他のユーザに話し掛けてくることが想定される。この場合、映像コンテンツの視聴に集中しているユーザにとって、どのユーザが話し掛けてきたのかを把握することは容易ではない。さらに、ヘッドフォンを通じて他のユーザの音声（会話）が出力される度に、どのユーザが話したのかを確認するのは非常に煩雑である。

本開示は、仮想空間におけるユーザの仮想体験を改善することが可能な情報処理方法及び当該情報処理方法をコンピュータに実現させるためのプログラムを提供する。

本開示が示す一態様によれば、各々がヘッドマウントデバイスと、音声が入力される音声入力部と、音声が出力される音声出力部とを有する複数のユーザ端末と、サーバとを備えた仮想空間配信システムにおいてコンピュータによって実行される情報処理方法が提供される。
前記情報処理方法は、
（ａ）前記複数のユーザ端末のうち第１ユーザ端末に関連付けられた第１アバターと、前記複数のユーザ端末のうち第２ユーザ端末に関連付けられた第２アバターと、前記複数のユーザ端末のうち第３ユーザ端末に関連付けられた第３アバターとを含む仮想空間を規定する仮想空間データを生成するステップと、
（ｂ）前記第１ユーザ端末のヘッドマウントデバイスの動きに応じて、前記第１アバターの視野を更新するステップと、
（ｃ）前記第１アバターの視野と前記仮想空間データに基づいて、前記第１ユーザ端末のヘッドマウントデバイスに視野画像を表示するステップと、
（ｄ）前記第２ユーザ端末の音声入力部に音声が入力された場合、前記入力された音声を示す音声データを前記第２ユーザ端末から受信するステップと、
（ｅ）前記ステップ（ｄ）の後に、前記第１ユーザ端末のヘッドマウントデバイスに表示される視野画像上において、前記第２アバターの表示態様又は前記第２アバターの視線の表示態様を変化させるステップと、を含む。

本開示によれば、仮想空間におけるユーザの仮想体験を改善することが可能な情報処理方法及び当該情報処理方法をコンピュータに実現させるためのプログラムを提供することができる。

本発明の実施形態（以下、単に本実施形態という。）に係る仮想空間配信システムを示す概略図である。 ユーザ端末を示す概略図である。 ＨＭＤを装着したユーザの頭部を示す図である。 制御装置のハードウェア構成を示す図である。 視野画像をＨＭＤに表示する処理を示すフローチャートである。 仮想空間の一例を示すｘｙｚ空間図である。 状態（ａ）は、図６に示す仮想空間のｙｘ平面図である。状態（ｂ）は、図６に示す仮想空間のｚｘ平面図である。 ＨＭＤに表示された視野画像の一例を示す図である。 図１に示すサーバのハードウェア構成を示す図である。 状態（ａ）は、ユーザＡに提供される仮想空間を示す図である。状態（ｂ）は、ユーザＢに提供される仮想空間を示す図である。 ユーザ端末間において各アバターの動きを同期させる処理の一例を説明するためのシーケンス図である。 本発明の第１実施形態（以下、単に第１実施形態という。）に係る情報処理方法の一例を説明するためのフローチャートである。 ユーザ端末１Ｂのマイクに音声が入力される前におけるユーザＡに提供される仮想空間を示す平面図である。 ユーザ端末１Ｂのマイクに音声が入力される前におけるユーザ端末１ＡのＨＭＤに表示された視野画像の一例を示す図である。 ユーザ端末１Ｂのマイクに音声が入力された後におけるユーザ端末１ＡのＨＭＤに表示された視野画像の一例を示す図である。 本発明の第２実施形態（以下、単に第２実施形態という。）に係る情報処理方法の一例を説明するためのフローチャートである。 ユーザ端末１Ｂのマイクに音声が入力された後におけるユーザＡに提供される仮想空間を示す平面図である。 ユーザ端末１Ｂのマイクに音声が入力された後におけるユーザ端末１ＡのＨＭＤに表示された視野画像の一例を示す図である。 本発明の第３実施形態（以下、単に第３実施形態という。）に係る情報処理方法の一例を説明するためのフローチャートである。 状態（ａ）は、アバター４Ｃがアバター４Ａに話し掛けている様子を示すユーザＡに提供される仮想空間の平面図である。状態（ｂ）は、アバター４Ａがアバター４Ｃの方に振り向いた様子を示すユーザＡに提供される仮想空間の平面図である。 状態（ａ）は、図２０の状態（ａ）におけるアバター４Ｃの顔面の状態を示す図である。状態（ｂ）は、図２０の状態（ｂ）におけるアバター４Ｃの顔面の状態を示す図である。

［本開示が示す実施形態の説明］
本開示が示す実施形態の概要を説明する。
（１）各々がヘッドマウントデバイスと、音声が入力される音声入力部と、音声が出力される音声出力部とを有する複数のユーザ端末と、サーバとを備えた仮想空間配信システムにおいてコンピュータによって実行される情報処理方法であって、
前記情報処理方法は、
（ａ）前記複数のユーザ端末のうち第１ユーザ端末に関連付けられた第１アバターと、前記複数のユーザ端末のうち第２ユーザ端末に関連付けられた第２アバターと、前記複数のユーザ端末のうち第３ユーザ端末に関連付けられた第３アバターとを含む仮想空間を規定する仮想空間データを生成するステップと、
（ｂ）前記第１ユーザ端末のヘッドマウントデバイスの動きに応じて、前記第１アバターの視野を更新するステップと、
（ｃ）前記第１アバターの視野と前記仮想空間データに基づいて、前記第１ユーザ端末のヘッドマウントデバイスに視野画像を表示するステップと、
（ｄ）前記第２ユーザ端末の音声入力部に音声が入力された場合、前記入力された音声を示す音声データを前記第２ユーザ端末から受信するステップと、
（ｅ）前記ステップ（ｄ）の後に、前記第１ユーザ端末のヘッドマウントデバイスに表示される視野画像上において、前記第２アバターの表示態様又は前記第２アバターの視線の表示態様を変化させるステップと、を含む情報処理方法。

上記方法によれば、第２ユーザ端末の音声入力部に音声が入力された場合、当該入力された音声を示す音声データが第２ユーザ端末から受信される。その後、第１ユーザ端末のヘッドマウントデバイス（ＨＭＤ）に表示される視野画像上において、第２アバターの表示態様又は第２アバターの視線の表示態様が変化する。このため、第１ユーザ端末の第１ユーザは、第２アバターの表示態様の変化又は第２アバターの視線の表示態様の変化を視認することで、第２アバターに関連した第２ユーザから音声が出力されたことを容易に把握することができる。つまり、第１ユーザは、誰が今喋っているのかを容易に把握することができる。従って、仮想空間におけるユーザの仮想体験を改善することが可能な情報処理方法を提供することができる。

ここで、「第２アバターの視線の表示態様の変化」の技術的意義とは、可視化された第２アバターの視線の表示態様を変化させることだけではなく、可視化されていない第２アバターの視線が可視化されることも対象としている点に留意されたい。

（２）（ｆ）前記第２アバターの視線に基づいて第２視線オブジェクトを生成するステップと、
（ｇ）前記第３アバターの視線に基づいて第３視線オブジェクトを生成するステップと、をさらに含み、
前記ステップ（ｅ）は、
（ｅ１）前記ステップ（ｄ）の後に、前記第２視線オブジェクトの表示態様を変化させるように前記第２視線オブジェクトを更新するステップと、
（ｅ２）前記更新された第２視線オブジェクトと前記第３視線オブジェクトが前記第１アバターの視野内に存在する場合に、前記第１ユーザ端末のヘッドマウントデバイスに、前記更新された第２視線オブジェクト及び前記第３視線オブジェクトを含む視野画像を表示させるステップと、を含む、項目（１）に記載の情報処理方法。

上記方法によれば、第２ユーザ端末の音声入力部に音声が入力された場合、当該入力された音声を示す音声データが第２ユーザ端末から受信される。その後、第２視線オブジェクトの表示態様を変化させるように第２視線オブジェクトが更新され、第１ユーザ端末のヘッドマウントデバイスに、更新された第２視線オブジェクト及び第３視線オブジェクトを含む視野画像が表示される。このため、第１ユーザ端末の第１ユーザは、第２視線オブジェクトの表示態様の変化を視認することで、第２アバターに関連した第２ユーザから音声が出力されたことを容易に把握することができる。

（３）前記第１アバターの視野内に前記第２アバターが存在しない場合に、前記ステップ（ｆ）が実行され、
前記第１アバターの視野内に前記第３アバターが存在しない場合に、前記ステップ（ｇ）が実行される、項目（２）に記載の情報処理方法。

上記方法によれば、第１アバターの視野内に第２アバターが存在しない場合に、第２アバターの視線に基づいて第２視線オブジェクトが生成されると共に、第１アバターの視野内に第３アバターが存在しない場合に、第３アバターの視線に基づいて第３視線オブジェクトが生成される。このように、第１ユーザは、視野画像内に第２アバターや第３アバターが表示されなくても、第２視線オブジェクトの表示態様の変化を視認することで、第２アバターに関連した第２ユーザから音声が出力されたことを容易に把握することができる。

（４）前記ステップ（ｅ）は、
（ｅ３）前記ステップ（ｄ）の後に、前記第２アバターの視線に基づいて第２視線オブジェクトを生成するステップと、
（ｅ４）前記第２視線オブジェクトが前記第１アバターの視野内に存在する場合に、前記第１ユーザ端末のヘッドマウントデバイスに、前記第２視線オブジェクトを含む視野画像を表示させるステップと、を含む、項目（１）に記載の情報処理方法。

上記方法によれば、第２ユーザ端末の音声入力部に音声が入力された場合、当該入力された音声を示す音声データが第２ユーザ端末から受信される。その後、第２アバターの視線に基づいて第２視線オブジェクトが生成された上で、第１ユーザ端末のヘッドマウントデバイスに、第２視線オブジェクトを含む視野画像が表示される。このため、第１ユーザ端末の第１ユーザは、視野画像内に表示された第２視線オブジェクトを視認することで、第２アバターに関連した第２ユーザから音声が出力されたことを容易に把握することができる。

（５）前記第１アバターの視野内に前記第２アバターが存在しない場合に、前記ステップ（ｅ３）が実行される、項目（４）に記載の情報処理方法。

上記方法によれば、第１アバターの視野内に前記第２アバターが存在しない場合に、第２視線オブジェクトを生成される。このように、第１ユーザは、視野画像内に第２アバターが表示されなくても、第２視線オブジェクトを視認することで、第２アバターに関連した第２ユーザから音声が出力されたことを容易に把握することができる。

（６）前記ステップ（ｅ）は、
（ｅ５）前記ステップ（ｄ）の後であって、前記第２アバターの視線が前記第１アバターを向いている状態で前記第２ユーザ端末の音声入力部に音声が入力された場合に、前記第２アバターの表示態様を変化させるように前記第２アバターを更新するステップと、
（ｅ６）前記第２アバターが前記第１アバターの視野内に存在する場合に、前記第１ユーザ端末のヘッドマウントデバイスに、前記更新された第２アバターを含む視野画像を表示させるステップと、を含む、項目（１）に記載の情報処理方法。

上記方法によれば、第２ユーザ端末の音声入力部に音声が入力された場合、当該入力された音声を示す音声データが第２ユーザ端末から受信される。その後、第２アバターの視線が第１アバターを向いている状態で第２ユーザ端末の音声入力部に音声が入力された場合に、第２アバターの表示態様を変化させるように第２アバターが更新される。そして、第１ユーザ端末のヘッドマウントデバイスに、更新された第２アバターを含む視野画像が表示される。このため、第１ユーザ端末の第１ユーザは、視野画像内に表示された第２アバターの表示態様の変化を視認することで、第２アバターに関連した第２ユーザから音声が出力されたことを容易に把握することができる。

（７）前記第１アバターの視野内に前記第２アバターが存在しない場合に、前記ステップ（ｅ５）が実行される、項目（６）に記載の情報処理方法。

上記方法によれば、第１アバターの視野内に第２アバターが存在しない場合に、第２アバターの表示態様を変化させるように第２アバターが更新される。このように、第２ユーザ端末の音声入力部に音声が入力されたときに視野画像内に第２アバターが表示されなかった場合でも、後程、第１ユーザは、第２アバターの表示態様の変化を視認することができる。このように、第１ユーザは、第２アバターに関連した第２ユーザから音声が出力されたことを容易に把握することができる。

（８）項目（１）から（７）のうちいずれか一項に記載の情報処理方法をコンピュータに実行させるためのプログラム。

上記によれば、仮想空間におけるユーザの仮想体験を改善することが可能なプログラムを提供することができる。

［本開示が示す実施形態の詳細］
以下、本開示が示す実施形態について図面を参照しながら説明する。尚、本実施形態の説明において既に説明された部材と同一の参照番号を有する部材については、説明の便宜上、その説明は繰り返さない。

最初に、仮想空間配信システム１００の構成の概略について図１を参照して説明する。図１は、仮想空間配信システム１００（以下、単に配信システム１００という。）の概略図である。図１に示すように、配信システム１００は、ユーザＡ（第１ユーザ）によって操作されるユーザ端末１Ａ（第１ユーザ端末）と、ユーザＢ（第２ユーザ）によって操作されるユーザ端末１Ｂ（第２ユーザ端末）と、ユーザＣ（第３ユーザ）によって操作されるユーザ端末Ｃ（第３ユーザ端末）と、サーバ２とを備える。ユーザ端末１Ａ〜１Ｃは、インターネット等の通信ネットワーク３を介してサーバ２に通信可能に接続されている。尚、本実施形態において、仮想空間とは、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）空間と、ＡＲ（Ａｒｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）空間と、ＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）空間を含む。また、以降では、説明の便宜上、各ユーザ端末１Ａ〜１Ｃを単にユーザ端末１と総称する場合がある。さらに、各ユーザＡ〜Ｃを単にユーザＵと総称する場合がある。また、本実施形態では、ユーザ端末１Ａ〜１Ｃは、同一の構成を備えているものとする。

次に、図２を参照してユーザ端末１の構成について説明する。図２は、ユーザ端末１を示す概略図である。図２に示すように、ユーザ端末１は、ユーザＵの頭部に装着されたヘッドマウントデバイス（ＨＭＤ）１１０と、ヘッドフォン１１６と、マイク１１８と、位置センサ１３０と、外部コントローラ３２０と、制御装置１２０とを備える。

ＨＭＤ１１０は、表示部１１２と、ＨＭＤセンサ１１４と、注視センサ１４０とを備えている。表示部１１２は、ＨＭＤ１１０を装着したユーザＵの視界（視野）を完全に覆うように構成された非透過型の表示装置を備えている。これにより、ユーザＵは、表示部１１２に表示された視野画像のみを見ることで仮想空間に没入することができる。尚、表示部１１２は、ユーザＵの左目に画像を提供するように構成された左目用表示部とユーザＵの右目に画像を提供するように構成された右目用表示部から構成されてもよい。また、ＨＭＤ１１０は、透過型の表示装置を備えてもよい。この場合、透過型の表示装置は、その透過率を調整することで、一時的に非透過型の表示装置として構成されてもよい。

ＨＭＤセンサ１１４は、ＨＭＤ１１０の表示部１１２の近傍に搭載される。ＨＭＤセンサ１１４は、地磁気センサ、加速度センサ、傾きセンサ（角速度センサやジャイロセンサ等）のうちの少なくとも１つを含み、ユーザＵの頭部に装着されたＨＭＤ１１０の各種動きを検出することができる。

注視センサ１４０は、ユーザＵの視線を検出するアイトラッキング機能を有する。注視センサ１４０は、例えば、右目用注視センサと、左目用注視センサを備えてもよい。右目用注視センサは、ユーザＵの右目に例えば赤外光を照射して、右目（特に、角膜や虹彩）から反射された反射光を検出することで、右目の眼球の回転角に関する情報を取得してもよい。一方、左目用注視センサは、ユーザＵの左目に例えば赤外光を照射して、左目（特に、角膜や虹彩）から反射された反射光を検出することで、左目の眼球の回転角に関する情報を取得してもよい。

ヘッドフォン１１６（音声出力部）は、ユーザＵの左耳と右耳にそれぞれ装着されている。ヘッドフォン１１６は、制御装置１２０から音声データ（電気信号）を受信し、当該受信した音声データに基づいて音声を出力するように構成されている。マイク１１８（音声入力部）は、ユーザＵから発声された音声を収集し、当該収集された音声に基づいて音声データ（電気信号）を生成するように構成されている。さらに、マイク１１８は、音声データを制御装置１２０に送信するように構成されている。

位置センサ１３０は、例えば、ポジション・トラッキング・カメラにより構成され、ＨＭＤ１１０と外部コントローラ３２０の位置を検出するように構成されている。位置センサ１３０は、制御装置１２０に無線又は有線により通信可能に接続されており、ＨＭＤ１１０に設けられた図示しない複数の検知点の位置、傾き又は発光強度に関する情報を検出するように構成されている。さらに、位置センサ１３０は、外部コントローラ３２０に設けられた図示しない複数の検知点の位置、傾き及び／又は発光強度に関する情報を検出するように構成されている。検知点は、例えば、赤外線や可視光を放射する発光部である。また、位置センサ１３０は、赤外線センサや複数の光学カメラを含んでもよい。

外部コントローラ３２０は、例えば、仮想空間内に表示される手指オブジェクト（アバターの手指）の動作を制御するために使用される。外部コントローラ３２０は、ユーザＵが右手に持って使用する右手用外部コントローラと、ユーザＵが左手に持って使用する左手用外部コントローラを有してもよい。

制御装置１２０は、位置センサ１３０から取得された情報に基づいて、ＨＭＤ１１０の位置情報を特定し、当該特定された位置情報に基づいて、仮想空間における仮想カメラ（又は、ユーザＵに関連したアバター）の位置と、現実空間におけるＨＭＤ１１０を装着したユーザＵの位置を正確に対応付けることができる。さらに、制御装置１２０は、位置センサ１３０から取得された情報に基づいて、外部コントローラ３２０の動作情報を特定し、当該特定された動作情報に基づいて、仮想空間内に表示される手指オブジェクト（ユーザＵに関連するアバターの手指）の動作と現実空間における外部コントローラ３２０の動作を正確に対応付けることができる。

また、制御装置１２０は、注視センサ１４０（左目用注視センサと右目用注視センサ）から送信された情報に基づいて、ユーザＵの右目の視線と左目の視線をそれぞれ特定し、当該右目の視線と当該左目の視線の交点である注視点を特定することができる。さらに、制御装置１２０は、特定された注視点に基づいて、ユーザＵの両目の視線（ユーザＵの視線）を特定することができる。ここで、ユーザＵの視線は、ユーザＵの両目の視線であって、ユーザＵの右目と左目を結ぶ線分の中点と注視点を通る直線の方向に一致する。

次に、図３を参照して、ＨＭＤ１１０の位置や傾きに関する情報を取得する方法について説明する。図３は、ＨＭＤ１１０を装着したユーザＵの頭部を示す図である。ＨＭＤ１１０を装着したユーザＵの頭部の動きに連動したＨＭＤ１１０の位置や傾きに関する情報は、位置センサ１３０及び／又はＨＭＤ１１０に搭載されたＨＭＤセンサ１１４により検出可能である。図２に示すように、ＨＭＤ１１０を装着したユーザＵの頭部を中心として、３次元座標（ｕｖｗ座標）が規定される。ユーザＵが直立する垂直方向をｖ軸として規定し、ｖ軸と直交しＨＭＤ１１０の中心を通る方向をｗ軸として規定し、ｖ軸およびｗ軸と直交する方向をｕ軸として規定する。位置センサ１３０及び／又はＨＭＤセンサ１１４は、各ｕｖｗ軸回りの角度（すなわち、ｖ軸を中心とする回転を示すヨー角、ｕ軸を中心とした回転を示すピッチ角、ｗ軸を中心とした回転を示すロール角で決定される傾き）を検出する。制御装置１２０は、検出された各ｕｖｗ軸回りの角度変化に基づいて、仮想カメラの視軸を制御するための角度情報を決定する。

次に、図４を参照することで、制御装置１２０のハードウェア構成について説明する。図４は、制御装置１２０のハードウェア構成を示す図である。図４に示すように、制御装置１２０は、制御部１２１と、記憶部１２３と、Ｉ／Ｏ（入出力）インターフェース１２４と、通信インターフェース１２５と、バス１２６とを備える。制御部１２１と、記憶部１２３と、Ｉ／Ｏインターフェース１２４と、通信インターフェース１２５は、バス１２６を介して互いに通信可能に接続されている。

制御装置１２０は、ＨＭＤ１１０とは別体に、パーソナルコンピュータ、タブレット又はウェアラブルデバイスとして構成されてもよいし、ＨＭＤ１１０に内蔵されていてもよい。また、制御装置１２０の一部の機能がＨＭＤ１１０に搭載されると共に、制御装置１２０の残りの機能がＨＭＤ１１０とは別体の他の装置に搭載されてもよい。

制御部１２１は、メモリとプロセッサを備えている。メモリは、例えば、各種プログラム等が格納されたＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やプロセッサにより実行される各種プログラム等が格納される複数ワークエリアを有するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成される。プロセッサは、例えばＣＰＵ(Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ)、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）及び／又はＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であって、ＲＯＭに組み込まれた各種プログラムから指定されたプログラムをＲＡＭ上に展開し、ＲＡＭとの協働で各種処理を実行するように構成されている。

特に、プロセッサが制御プログラムをＲＡＭ上に展開し、ＲＡＭとの協働で制御プログラムを実行することで、制御部１２１は、制御装置１２０の各種動作を制御してもよい。制御部１２１は、視野画像データに基づいてＨＭＤ１１０の表示部１１２に視野画像を表示する。これにより、ユーザＵは、仮想空間に没入することができる。

記憶部（ストレージ）１２３は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＵＳＢフラッシュメモリ等の記憶装置であって、プログラムや各種データを格納するように構成されている。記憶部１２３は、本実施形態に係る情報処理方法の少なくとも一部をコンピュータに実行させるための制御プログラムや、複数のユーザによる仮想空間の共有を実現するための制御プログラムを格納してもよい。また、記憶部１２３には、ユーザＵの認証プログラムや各種画像やオブジェクト（例えば、仮想スクリーン、アバター、視線オブジェクト等）に関するデータが格納されてもよい。さらに、記憶部１２３には、各種データを管理するためのテーブルを含むデータベースが構築されてもよい。

Ｉ／Ｏインターフェース１２４は、位置センサ１３０と、ＨＭＤ１１０と、外部コントローラ３２０と、ヘッドフォン１１６と、マイク１１８とをそれぞれ制御装置１２０に通信可能に接続するように構成されており、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）端子、ＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ―Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）端子等により構成されている。尚、制御装置１２０は、位置センサ１３０と、ＨＭＤ１１０と、外部コントローラ３２０と、ヘッドフォン１１６と、マイク１１８とのそれぞれと無線接続されていてもよい。

通信インターフェース１２５は、制御装置１２０をＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）又はインターネット等の通信ネットワーク３に接続させるように構成されている。通信インターフェース１２５は、通信ネットワーク３を介してサーバ２等の外部装置と通信するための各種有線接続端子や、無線接続のための各種処理回路を含んでおり、通信ネットワーク３を介して通信するための通信規格に適合するように構成されている。

次に、図５から図８を参照することで視野画像をＨＭＤ１１０に表示するための処理について説明する。図５は、視野画像をＨＭＤ１１０に表示する処理を示すフローチャートである。図６は、仮想空間２００の一例を示すｘｙｚ空間図である。図７の状態（ａ）は、図６に示す仮想空間２００のｙｘ平面図である。図７の状態（ｂ）は、図６に示す仮想空間２００のｚｘ平面図である。図８は、ＨＭＤ１１０に表示された視野画像Ｖの一例を示す図である。

図５に示すように、ステップＳ１において、制御部１２１（図４参照）は、仮想カメラ３００と、各種オブジェクトとを含む仮想空間２００を示す仮想空間データを生成する。図６に示すように、仮想空間２００は、中心位置２１０を中心とした全天球として規定される（図６では、上半分の天球のみが図示されている）。また、仮想空間２００では、中心位置２１０を原点とするｘｙｚ座標系が設定されている。仮想カメラ３００は、ＨＭＤ１１０に表示される視野画像Ｖ（図８参照）を特定するための視軸Ｌを規定している。仮想カメラ３００の視野を定義するｕｖｗ座標系は、現実空間におけるユーザＵの頭部を中心として規定されたｕｖｗ座標系に連動するように決定される。また、ＨＭＤ１１０を装着したユーザＵの現実空間における移動に連動して、制御部１２１は、仮想カメラ３００を仮想空間２００内で移動させてもよい。

次に、ステップＳ２において、制御部１２１は、仮想カメラ３００の視野ＣＶ（図７参照）を特定する。具体的には、制御部１２１は、位置センサ１３０及び／又はＨＭＤセンサ１１４から送信されたＨＭＤ１１０の状態を示すデータに基づいて、ＨＭＤ１１０の位置や傾きに関する情報を取得する。次に、制御部１２１は、ＨＭＤ１１０の位置や傾きに関する情報に基づいて、仮想空間２００内における仮想カメラ３００の位置や向きを特定する。次に、制御部１２１は、仮想カメラ３００の位置や向きから仮想カメラ３００の視軸Ｌを決定し、決定された視軸Ｌから仮想カメラ３００の視野ＣＶを特定する。ここで、仮想カメラ３００の視野ＣＶは、ＨＭＤ１１０を装着したユーザＵが視認可能な仮想空間２００の一部の領域に相当する（換言すれば、ＨＭＤ１１０に表示される仮想空間２００の一部の領域に相当する）。また、視野ＣＶは、図７の状態（ａ）に示すｘｙ平面において、視軸Ｌを中心とした極角αの角度範囲として設定される第１領域ＣＶａと、図７の状態（ｂ）に示すｘｚ平面において、視軸Ｌを中心とした方位角βの角度範囲として設定される第２領域ＣＶｂとを有する。尚、制御部１２１は、注視センサ１４０から送信されたユーザＵの視線を示すデータに基づいてユーザＵの視線を特定し、特定されたユーザＵの視線とＨＭＤ１１０の位置や傾きに関する情報に基づいて、仮想カメラ３００の向き（仮想カメラの野軸Ｌ）を決定してもよい。また、後述するように、制御部１２１は、ＨＭＤ１１０の位置や傾きに関する情報に基づいて、ユーザＵのアバターの顔の向きを決定してもよい。

このように、制御部１２１は、位置センサ１３０及び／又はＨＭＤセンサ１１４からのデータに基づいて、仮想カメラ３００の視野ＣＶを特定することができる。ここで、ＨＭＤ１１０を装着したユーザＵが動くと、制御部１２１は、位置センサ１３０及び／又はＨＭＤセンサ１１４から送信されたＨＭＤ１１０の動きを示すデータに基づいて、仮想カメラ３００の視野ＣＶを更新することができる。つまり、制御部１２１は、ＨＭＤ１１０の動きに応じて、視野ＣＶを更新することができる。同様に、ユーザＵの視線が変化すると、制御部１２１は、注視センサ１４０から送信されたユーザＵの視線を示すデータに基づいて、仮想カメラ３００の視野ＣＶを更新してもよい。つまり、制御部１２１は、ユーザＵの視線の変化に応じて、視野ＣＶを変化させてもよい。

次に、ステップＳ３において、制御部１２１は、ＨＭＤ１１０の表示部１１２に表示される視野画像Ｖを示す視野画像データを生成する。具体的には、制御部１２１は、仮想空間２００を規定する仮想空間データと、仮想カメラ３００の視野ＣＶとに基づいて、視野画像データを生成する。

次に、ステップＳ４において、制御部１２１は、視野画像データに基づいて、ＨＭＤ１１０の表示部１１２に視野画像Ｖを表示する（図７参照）。このように、ＨＭＤ１１０を装着しているユーザＵの動きに応じて、仮想カメラ３００の視野ＣＶが変化し、ＨＭＤ１１０の表示部１１２に表示される視野画像Ｖが変化するので、ユーザＵは仮想空間２００に没入することができる。

尚、仮想カメラ３００は、左目用仮想カメラと右目用仮想カメラを含んでもよい。この場合、制御部１２１は、仮想空間データと左目用仮想カメラの視野に基づいて、左目用の視野画像を示す左目用視野画像データを生成する。さらに、制御部１２１は、仮想空間データと、右目用仮想カメラの視野に基づいて、右目用の視野画像を示す右目用視野画像データを生成する。その後、制御部１２１は、左目用視野画像データに基づいて、左目用表示部に左目用の視野画像を表示すると共に、右目用視野画像データに基づいて、右目用表示部に右目用の視野画像を表示する。このようにして、ユーザＵは、左目用視野画像と右目用視野画像との間の視差により、視野画像を３次元的に視認することができる。尚、仮想カメラは、後述するように、ユーザによって操作されるアバターの目の位置に配置されてもよい。例えば、左目用仮想カメラは、アバターの左目に配置される一方で、右目用仮想カメラは、アバターの右目に配置されてもよい。

次に、図１に示すサーバ２のハードウェア構成について図９を参照して説明する。図９は、サーバ２のハードウェア構成を示す図である。図９に示すように、サーバ２は、制御部２３と、記憶部２２と、通信インターフェース２１と、バス２４とを備える。制御部２３と、記憶部２２と、通信インターフェース２１は、バス２４を介して互いに通信可能に接続されている。制御部２３は、メモリとプロセッサを備えており、メモリは、例えば、ＲＯＭ及びＲＡＭ等から構成されると共に、プロセッサは、例えば、ＣＰＵ、ＭＰＵ及び／又はＧＰＵにより構成される。

記憶部（ストレージ）２２は、例えば、大容量のＨＤＤ等である。記憶部２２は、本実施形態に係る情報処理方法の少なくとも一部をコンピュータに実行させるための制御プログラムや、複数のユーザによる仮想空間の共有を実現させるための制御プログラムを格納してもよい。また、記憶部２２は、各ユーザを管理するためのユーザ管理情報や各種画像やオブジェクト（例えば、仮想スクリーン、アバター及び視線オブジェクト等）に関するデータを格納してもよい。通信インターフェース２１は、サーバ２を通信ネットワーク３に接続させるように構成されている。

次に、図１，１０及び１１を参照してユーザ端末１Ａとユーザ端末１Ｂ間において各アバター４Ａ，４Ｂの動きを同期させる処理の一例について説明する。図１０の状態（ａ）は、ユーザＡに提供される仮想空間２００Ａを示す図である。図１０の状態（ｂ）は、ユーザＢに提供される仮想空間２００Ｂを示す図である。図１１は、ユーザ端末１Ａとユーザ端末１Ｂ間において各アバター４Ａ，４Ｂの動きを同期させる処理の一例を説明するためのシーケンス図である。本説明では、前提条件として、図１０に示すように、ユーザ端末１Ａ（ユーザＡ）に関連付けられたアバター４Ａと、ユーザ端末１Ｂ（ユーザＢ）に関連付けられたアバター４Ｂが同一の仮想空間を共有しているものとする。つまり、通信ネットワーク３を介してユーザＡとユーザＢが一つの仮想空間を共有するものとする。

図１０の状態（ａ）に示すように、ユーザＡの仮想空間２００Ａは、アバター４Ａと、アバター４Ｂと、仮想スクリーン６Ａとを含む。アバター４Ａは、ユーザＡによって操作されると共に、ユーザＡの動作に連動する。アバター４Ｂは、ユーザＢによって操作されると共に、ユーザＢの動作に連動する。

例えば、ユーザ端末１Ａ，１ＢのＨＭＤ１１０の位置に応じてアバター４Ａ，４Ｂの位置が特定されてもよい。同様に、ユーザ端末１Ａ，１ＢのＨＭＤ１１０の傾きに応じてアバター４Ａ，４Ｂの顔の向きが特定されてもよい。さらに、ユーザ端末１Ａ，１Ｂの外部コントローラの動作に応じてアバター４Ａ，４Ｂの手の動作が特定されてもよい。また、注視センサ１４０によって検出されたユーザＡ，Ｂの視線を示すデータに応じてアバター４Ａ，４Ｂの白目に対する黒目の相対的位置が特定されてもよい。特に、左目用注視センサによって検出されたユーザの左目の視線を示すデータに応じてアバターの左目の白目に対する左目の黒目の相対的位置が特定されてもよい。さらに、右目用注視センサによって検出されたユーザの右目の視線を示すデータに応じてアバターの右目の白目に対する右目の黒目の相対的位置が特定されてもよい。

また、ユーザ端末１Ａ，１ＢのＨＭＤ１１０の傾きに応じてアバター４Ａ，４Ｂの視線が特定されてもよい。換言すれば、アバターの視線は、仮想カメラの視軸Ｌに応じて特定されてもよい。ここで、アバターの視線とはアバターの両目の視線を指す。尚、ユーザ端末１Ａ，１ＢのＨＭＤ１１０の傾き及びユーザＡ，Ｂの視線（ユーザＡ，Ｂの両目の視線）に基づいてアバター４Ａ，４Ｂの視線が特定されてもよい。ここで、ユーザＡ，Ｂの視線は、上記したように、注視センサ１４０によって検出されたユーザＡ，Ｂの視線を示すデータに応じて特定される。

また、アバター４Ａ，４Ｂの各々の目には、仮想カメラ３００（図６）が配置されてもよい。特に、アバター４Ａ，４Ｂの各々の左目には、左目用仮想カメラが配置されると共に、アバター４Ａ，４Ｂの各々の右目には、右目用仮想カメラが配置されてもよい。尚、以降の説明では、仮想カメラ３００はアバター４Ａ，４Ｂの各々の目に配置されているものとする。このため、図７に示す仮想カメラ３００の視野ＣＶは、アバター４Ａ，４Ｂの各々の視野ＣＶと一致するものとする。

仮想スクリーン６Ａは、映像コンテンツ（動画）を表示するように構成されている。制御部１２１は、テクスチャマッピングにより仮想スクリーン６Ａの表面上に映像コンテンツを表示することができる。ユーザＡ，Ｂの各々は、仮想スクリーン６Ａに表示された映像コンテンツをＨＭＤ１１０に表示された視野画像を通じて楽しむことができる。

図１０の状態（ｂ）に示すように、ユーザＢの仮想空間２００Ｂは、アバター４Ａと、アバター４Ｂと、仮想スクリーン６Ａとを含む。仮想空間２００Ａ内におけるアバター４Ａ，４Ｂの位置は、仮想空間２００Ｂ内におけるアバター４Ａ，４Ｂの位置に対応してもよい。

次に、図１１を参照すると、ステップＳ１０において、ユーザ端末１Ａの制御部１２１は、ユーザＡの音声データを生成する。例えば、ユーザＡがユーザ端末１Ａのマイク１１８に音声を入力したときに、マイク１１８は、入力された音声を示す音声データを生成する。その後、マイク１１８は生成された音声データをＩ／Ｏインターフェース１２４を介して制御部１２１に送信する。

次に、ステップＳ１１において、ユーザ端末１Ａの制御部１２１は、アバター４Ａの制御情報を生成した上で、当該生成したアバター４Ａの制御情報とユーザＡの音声を示す音声データ（ユーザＡの音声データ）をサーバ２に送信する。その後、サーバ２の制御部２３は、ユーザ端末１Ａからアバター４Ａの制御情報とユーザＡの音声データを受信する（ステップＳ１２）。ここで、アバター４Ａの制御情報は、アバター４Ａの動作を制御するために必要な情報である。アバター４Ａの制御情報は、アバター４Ａの視線に関する情報（視線情報）を含む。さらに、アバター４Ａの制御情報は、アバター４Ａの位置に関する情報と、アバター４Ａの顔の向きに関する情報と、アバター４Ａの手の動作に関する情報と、アバター４Ａの目の動き（特に、黒目の動き）に関する情報をさらに含んでいてもよい。

次に、ステップＳ１３において、ユーザ端末１Ｂの制御部１２１は、アバター４Ｂの制御情報を生成した上で、当該生成したアバター４Ｂの制御情報をサーバ２に送信する。その後、サーバ２の制御部２３は、ユーザ端末１Ｂからアバター４Ｂの制御情報を受信する（ステップＳ１４）。ここで、アバター４Ｂの制御情報は、アバター４Ｂの動作を制御するために必要な情報である。アバター４Ｂの制御情報は、アバター４Ｂの視線に関する情報（視線情報）を含む。さらに、アバター４Ｂの制御情報は、アバター４Ｂの位置に関する情報と、アバター４Ｂの顔の向きに関する情報と、アバター４Ｂの手の動作に関する情報と、アバター４Ｂの目の動き（特に、黒目の動き）に関する情報をさらに含んでいてもよい。

次に、サーバ２は、アバター４Ｂの制御情報をユーザ端末１Ａに送信する一方（ステップＳ１５）、アバター４Ａの制御情報とユーザＡの音声データをユーザ端末１Ｂに送信する（ステップＳ１９）。その後、ユーザ端末１Ａの制御部１２１は、ステップＳ１６においてアバター４Ｂの制御情報を受信した後に、アバター４Ａ，４Ｂの制御情報に基づいて、仮想空間２００Ａ（図１０の状態（ａ）参照）を示す仮想空間データを更新する（ステップＳ１７）。例えば、アバター４Ａ，４Ｂが移動した場合、移動後のアバター４Ａ，４Ｂを含む仮想空間を示す仮想空間データが生成される。その後、ユーザ端末１Ａの制御部１２１は、ＨＭＤ１１０の位置や傾きに応じてアバター４Ａ（仮想カメラ３００）の視野ＣＶを特定した上で、更新された仮想空間データと、アバター４Ａの視野ＣＶとに基づいて、ＨＭＤ１１０に表示される視野画像を更新する（ステップＳ１８）。

一方、ユーザ端末１Ｂの制御部１２１は、ステップＳ２０においてアバター４Ａの制御情報とユーザＡの音声データを受信した後に、アバター４Ａ，４Ｂの制御情報に基づいて、仮想空間２００Ｂ（図１０の状態（ｂ）参照）を示す仮想空間データを更新する（ステップＳ２１）。その後、ユーザ端末１Ｂの制御部１２１は、ＨＭＤ１１０の位置や傾きに応じてアバター４Ｂ（仮想カメラ３００）の視野ＣＶを特定した上で、更新された仮想空間データと、アバター４Ｂの視野ＣＶとに基づいて、ＨＭＤ１１０に表示される視野画像を更新する（ステップＳ２２）。

その後、ユーザ端末１Ｂの制御部１２１は、受信したユーザＡの音声データと、アバター４Ａの制御情報に含まれるアバター４Ａの位置に関する情報と、所定の音声処理アルゴリズムに基づいてユーザＡの音声データを加工する。その後、制御部１２１は、加工された音声データをヘッドフォン１１６に送信した上で、ヘッドフォン１１６は、加工された音声データに基づいてユーザＡの音声を出力する（ステップＳ２３）。このように、仮想空間上においてユーザ間（アバター間）の音声チャットを実現することができる。

本実施形態では、ユーザ端末１Ａ，１Ｂがサーバ２にアバター４Ａの制御情報とアバター４Ｂの制御情報をそれぞれ送信した後に、サーバ２がアバター４Ａの制御情報をユーザ端末１Ｂに送信する一方、アバター４Ｂの制御情報をユーザ端末１Ａに送信する。このように、ユーザ端末１Ａとユーザ端末１Ｂ間において各アバター４Ａ，４Ｂの動きを同期させることが可能となる。尚、図１１に示す各処理は、１フレーム毎に実行されてもよい。

また、ユーザ端末１Ａ〜１Ｃ間において各アバター４Ａ〜４Ｃの動きを同期させる場合、ユーザ端末１Ａは、アバター４Ａの制御情報をサーバ２に送信し、ユーザ端末１Ｂは、アバター４Ｂの制御情報をサーバ２に送信し、ユーザ端末１Ｃは、アバター４Ｃの制御情報をサーバ２に送信する。その後、サーバ２は、アバター４Ａ，４Ｃの制御情報をユーザ端末１Ｂに送信し、アバター４Ｂ，４Ｃの制御情報をユーザ端末１Ａに送信し、アバター４Ａ，４Ｂの制御情報をユーザ端末１Ｃに送信する。

（第１実施形態）
次に、図１２〜図１５を参照することで第１実施形態に係る情報処理方法について説明する。図１２は、第１実施形態に係る情報処理方法の一例を説明するためのフローチャートである。図１３は、ユーザ端末１Ｂのマイク１１８に音声が入力される前におけるユーザＡに提供される仮想空間２００Ａを示す平面図である。図１４は、ユーザ端末１Ｂのマイク１１８に音声が入力される前におけるユーザ端末１ＡのＨＭＤ１１０に表示された視野画像Ｖの一例を示す図である。図１５は、ユーザ端末１Ｂのマイク１１８に音声が入力された後におけるユーザ端末１ＡのＨＭＤ１１０に表示された視野画像Ｖの一例を示す図である。

第１実施形態では、前提条件として、図１３に示すように、アバター４Ａと、アバター４Ｂと、ユーザ端末１Ｃ（ユーザＣ）に関連付けられたアバター４Ｃが同一の仮想空間を共有しているものとする。つまり、通信ネットワーク３を介してユーザＡ〜Ｃが一つの仮想空間を共有するものとする。アバター４Ｃは、ユーザＣによって操作されると共に、ユーザＣの動作に連動する。アバター４Ａ〜４Ｃは、仮想スクリーン６Ａの表示画面６０Ａ上に表示された映像コンテンツを視聴しているものとする。図１３に示すように、可視化されていないアバター４Ａの視線ＳＬａは、表示画面６０Ａの所定の箇所を指している。

ユーザＡの仮想空間２００Ａは、アバター４Ａと、アバター４Ｂと、アバター４Ｃと、仮想スクリーン６Ａとを含む。ユーザ端末１Ａの制御部１２１は、仮想空間２００Ａを示す仮想空間データを生成する。

図１２を参照すると、ステップＳ３０において、ユーザ端末１Ａの制御部１２１（以下、単に制御部１２１という。）は、アバター４Ａの視野ＣＶを特定する。上記したように、アバター４Ａの視野ＣＶは、アバター４Ａの目に配置された仮想カメラの視野ＣＶに一致する。また、制御部１２１は、ユーザ端末１ＡのＨＭＤ１１０の動きに応じて、アバター４Ａの視野ＣＶを更新する。アバター４Ａの視野ＣＶの更新処理は、１フレーム毎に実行されてもよい。さらに、制御部１２１は、更新された視野ＣＶと仮想空間２００Ａを示す仮想空間データに基づいて、ＨＭＤ１１０に表示される視野画像Ｖを更新する。視野画像の更新処理も、１フレーム毎に実行されてもよい。

次に、ステップＳ３１において、制御部１２１は、アバター４Ｂの動作を制御するために必要なアバター４Ｂの制御情報をサーバ２から受信する。ここで、アバター４Ｂの制御情報は、アバター４Ｂの視線に関する情報（視線情報）を含む。具体的には、サーバ２は、アバター４Ｂの制御情報をユーザ端末１Ｂから受信した後に、アバター４Ｂの制御情報をユーザ端末１Ａ，１Ｃに送信する。このように、制御部１２１は、アバター４Ｂの制御情報をサーバ２から受信する。

次に、ステップＳ３２において、制御部１２１は、アバター４Ｃの動作を制御するために必要なアバター４Ｃの制御情報をサーバ２から受信する。ここで、アバター４Ｃの制御情報は、アバター４Ｃの視線情報を含む。具体的には、サーバ２は、アバター４Ｃの制御情報をユーザ端末１Ｃから受信した後に、アバター４Ｃの制御情報をユーザ端末１Ａ，１Ｂに送信する。このように、制御部１２１は、アバター４Ｃの制御情報をサーバ２から受信する。

尚、ステップＳ３１の処理の前に、制御部１２１は、アバター４Ａの動作を制御するために必要なアバター４Ａの制御情報をサーバ２に送信している点に留意されたい。

次に、制御部１２１は、アバター４Ｂの制御情報に含まれるアバター４Ｂの位置に関する情報に基づいて、アバター４Ｂがアバター４Ａの視野ＣＶ内に存在するかどうかを判定する（ステップＳ３３）。制御部１２１は、アバター４Ｂがアバター４Ａの視野ＣＶ内に存在しないと判定した場合（ステップＳ３３でＮＯ）、アバター４Ｂの視線情報に基づいて、アバター４Ｂの視線オブジェクト５Ｂ（図１３参照）を生成する（ステップＳ３４）。

例えば、図１３に示すように、制御部１２１は、アバター４Ｂの視線と、アバター４Ｂの視線と仮想スクリーン６Ａの表示画面６０Ａとの交差点Ｃａとに基づいて視線オブジェクト５Ｂを生成してもよい。特に、制御部１２１は、アバター４Ｂの視線の方向に基づいて視線オブジェクト５Ｂの方向を特定すると共に、アバター４Ｂの位置と交差点Ｃａとの間の距離に基づいて視線オブジェクト５Ｂの長さを特定してもよい。

一方、制御部１２１は、アバター４Ｂがアバター４Ａの視野ＣＶ内に存在すると判定した場合（ステップＳ３３でＹＥＳ）、処理は、ステップＳ３５の処理に進む。次に、制御部１２１は、ステップＳ３５において、アバター４Ｃの制御情報に含まれるアバター４Ｃの位置に関する情報に基づいて、アバター４Ｃがアバター４Ａの視野ＣＶ内に存在するかどうかを判定する（ステップＳ３５）。制御部１２１は、アバター４Ｃがアバター４Ａの視野ＣＶ内に存在しないと判定した場合（ステップＳ３５でＮＯ）、アバター４Ｃの視線情報に基づいて、アバター４Ｃの視線オブジェクト５Ｃ（図１３参照）を生成する（ステップＳ３６）。

例えば、図１３に示すように、制御部１２１は、アバター４Ｃの視線と、アバター４Ｃの視線と仮想スクリーン６Ａの表示画面６０Ａとの交差点Ｃｂとに基づいて視線オブジェクト５Ｃを生成してもよい。特に、制御部１２１は、アバター４Ｃの視線の方向に基づいて視線オブジェクト５Ｃの方向を特定すると共に、アバター４Ｃの位置と交差点Ｃｂとの間の距離に基づいて視線オブジェクト５Ｃの長さを特定してもよい。一方、制御部１２１は、アバター４Ｃがアバター４Ａの視野ＣＶ内に存在すると判定した場合（ステップＳ３５でＹＥＳ）、処理は、ステップＳ３７の処理に進む。

このように、視線オブジェクト５Ｂ，５Ｃが生成されるので、アバター４Ｂ，４Ｃの視線が仮想空間２００Ａ上で可視化される。例えば、図１４に示すように、ユーザ端末１ＡのＨＭＤ１１０上に表示される視野画像Ｖには、可視化されたアバター４Ｂ，４Ｃの視線（つまり、視線オブジェクト５Ｂ，５Ｃ）が表示される。

次に、ステップＳ３７において、制御部１２１は、ユーザＢの音声を示す音声データ（ユーザＢの音声データ）を受信する。例えば、ユーザＢがユーザ端末１Ｂのマイク１１８に音声（例えば、「頑張れー！」）を入力した場合に、マイク１１８は、入力された音声を示す音声データを生成した上で、生成された音声データをＩ／Ｏインターフェース１２４を介してユーザ端末１Ｂの制御部１２１に送信する。ユーザ端末１Ｂの制御部１２１は、音声データをサーバ２に送信した後に、サーバ２は音声データをユーザ端末１Ａ，１Ｃに送信する。このように、ユーザ端末１Ａの制御部１２１は、ユーザＢの音声データをサーバ２から受信する。その後、制御部１２１は、受信したユーザＢの音声データと、アバター４Ｂの制御情報に含まれるアバター４Ｂの位置に関する情報と、所定の音声処理アルゴリズムに基づいてユーザＢの音声データを加工する。その後、制御部１２１は、加工された音声データをヘッドフォン１１６に送信した上で、ヘッドフォン１１６は、加工された音声データに基づいてユーザＢの音声を出力する。

その後、制御部１２１は、視線オブジェクト５Ｂの表示態様を変化させるように視線オブジェクト５Ｂを更新する（ステップＳ３８）。この点において、制御部１２１は、視線オブジェクト５Ｂの表示態様の変化として、視線オブジェクト５Ｂの形状・色を時間軸上で連続的に変化させてもよい。例えば、図１５に示すように、制御部１２１は、視線オブジェクト５Ｂの形状を波状に変化させてもよい。特に、視線オブジェクト５Ｂの波状が時間軸上で連続的に変化してもよい。

このように、更新された視線オブジェクト５Ｂと視線オブジェクト５Ｃがアバター４Ａの視野内に存在する場合に、制御部１２１は、図１５に示すように、更新された視線オブジェクト５Ｂと視線オブジェクト５Ｃを含む視野画像Ｖをユーザ端末１ＡのＨＭＤ１１０に表示させる。

本実施形態によれば、ユーザ端末１Ｂのマイク１１８にユーザＢの音声（「頑張れ―！」）が入力された場合、ユーザＢの音声データがサーバ２を介してユーザ端末１Ｂから受信される。その後、アバター４Ｂの視線オブジェクト５Ｂの表示態様を変化させるように視線オブジェクト５Ｂが更新されて、ユーザ端末１ＡのＨＭＤ１１０上に、更新された視線オブジェクト５Ｂと視線オブジェクト５Ｃを含む視野画像Ｖが表示される。このため、ユーザＡは、視線オブジェクト５Ｂの表示態様の変化を視認することで、アバター４Ｂに関連したユーザＢから音声が出力されたことを容易に把握することができる。つまり、ユーザＡは、どのユーザが現在喋っているのかを視線オブジェクト５Ｂの表示態様の変化により容易に把握することができる。従って、複数のユーザによって共有された仮想空間におけるユーザの仮想体験を改善することが可能な情報処理方法を提供することができる。

また、本実施形態によれば、アバター４Ａの視野ＣＶ内にアバター４Ｂが存在しない場合に、アバター４Ｂの視線と交差点Ｃａに基づいて視線オブジェクト５Ｂが生成される。さらに、アバター４Ａの視野ＣＶ内にアバター４Ｃが存在しない場合に、アバター４Ｃの視線と交差点Ｃｂに基づいて視線オブジェクト５Ｃが生成される。このように、ユーザＡは、視野画像Ｖ内にアバター４Ｂ，４Ｃが表示されなくても、視線オブジェクト５Ｂの表示態様の変化を視認することで、アバター４Ｂに関連するユーザＢから音声が出力されたことを容易に把握することができる。

尚、本実施形態では、アバター４Ｂ（４Ｃ）がアバター４Ａの視野ＣＶ内に存在するときには、ユーザＡは、どのユーザが現在喋っているかを比較的容易に特定できるため、視線オブジェクト５Ｂ（５Ｃ）は生成されない。しかしながら、アバター４Ｂ（４Ｃ）がアバター４Ａの視野ＣＶ内に存在するときでも、制御部１２１は、視線オブジェクト５Ｂ（５Ｃ）を生成してもよい。

（第２実施形態）
次に、図１６〜図１８を参照することで第２実施形態に係る情報処理方法について説明する。図１６は、第２実施形態に係る情報処理方法の一例を説明するためのフローチャートである。図１７は、ユーザ端末１Ｂのマイク１１８に音声が入力された後におけるユーザＡに提供される仮想空間２００Ａを示す平面図である。図１８は、ユーザ端末１Ｂのマイク１１８に音声が入力された後におけるユーザ端末１ＡのＨＭＤ１１０に表示された視野画像Ｖの一例を示す図である。第２実施形態の前提条件は、第１実施形態の前提条件と同一である。

図１６を参照すると、ステップＳ４０において、ユーザ端末１Ａの制御部１２１（以下、単に制御部１２１という。）は、アバター４Ａの視野ＣＶを特定する。次に、制御部１２１は、アバター４Ｂの視線情報を含むアバター４Ｂの制御情報をサーバ２から受信する（ステップＳ４１）。その後、制御部１２１は、アバター４Ｃの視線情報を含むアバター４Ｃの制御情報をサーバ２から受信する（ステップＳ４２）。尚、制御部１２１は、ステップＳ４１の処理の前に、アバター４Ａの制御情報をサーバ２に送信している点に留意されたい。

次に、ステップＳ４３において、制御部１２１は、ユーザＢの音声（例えば、「頑張れ―！」）を示す音声データ（ユーザＢの音声データ）をサーバ２から受信した後に、ユーザＢの音声データを加工する。その後、ヘッドフォン１１６は、加工された音声データに基づいてユーザＢの音声を出力する。

次に、制御部１２１は、音声を出力したユーザがユーザＢであると決定した上で、アバター４Ｂの制御情報に含まれるアバター４Ｂの位置に関する情報に基づいて、アバター４Ｂがアバター４Ａの視野ＣＶ内に存在するかどうかを判定する(ステップＳ４４)。制御部１２１は、アバター４Ｂがアバター４Ａの視野ＣＶ内に存在しないと判定した場合（ステップＳ４４でＮＯ）、アバター４Ｂの視線情報に基づいて、アバター４Ｂの視線オブジェクト５Ｂ（図１７参照）を生成する（ステップＳ４５）。視線オブジェクト５Ｂの生成方法は上記で説明したとおりである。一方、ステップＳ４４の判定結果がＹＥＳの場合、アバター４Ｂの視線オブジェクト５Ｂは生成されない。

このように、音声を出力したユーザＢに関連するアバター４Ｂの視線オブジェクト５Ｂのみが生成されるので、アバター４Ｂの視線のみが仮想空間２００Ａ上で可視化される。例えば、図１８に示すように、ユーザ端末１ＡのＨＭＤ１１０上に表示される視野画像Ｖには、可視化されたアバター４Ｂの視線（つまり、視線オブジェクト５Ｂ）のみが表示される。一方、アバター４Ｃの視線ＳＬｃ（図１７参照）に対応する視線オブジェクトは生成されないので、アバター４Ｃの視線ＳＬｃは可視化されない。

本実施形態によれば、視線オブジェクト５Ｂがアバター４Ａの視野ＣＶ内に存在する場合に、制御部１２１は、図１８に示すように、視線オブジェクト５Ｂを含む視野画像Ｖをユーザ端末１ＡのＨＭＤ１１０に表示させる。このため、ユーザＡは、視野画像Ｖ内に表示された視線オブジェクト５Ｂを視認することで、アバター４Ｂに関連したユーザＢから音声が出力されたことを容易に把握することができる。

また、本実施形態によれば、アバター４Ａの視野ＣＶ内にアバター４Ｂが存在しない場合に視線オブジェクト５Ｂが生成される。このように、ユーザＡは、視野画像Ｖ内にアバター４Ｂが表示されなくても、視線オブジェクト５Ｂを視認することで、アバター４Ｂに関連するユーザＢから音声が出力されたことを容易に把握することができる。尚、アバター４Ｂがアバター４Ａの視野ＣＶ内に存在するときでも、制御部１２１は、視線オブジェクト５Ｂを生成してもよい。

（第３実施形態）
次に、図１９〜図２１を参照することで第３実施形態に係る情報処理方法について説明する。図１９は、第２実施形態に係る情報処理方法の一例を説明するためのフローチャートである。図２０の状態（ａ）は、アバター４Ｃがアバター４Ａに話し掛けている様子を示すユーザＡに提供される仮想空間２００Ａの平面図である。図２０の状態（ｂ）は、アバター４Ａがアバター４Ｃの方に振り向いた様子を示すユーザＡに提供される仮想空間２００Ａの平面図である。図２１の状態（ａ）は、図２０の状態（ａ）におけるアバター４Ｃの顔面の状態を示す図である。図２１の状態（ｂ）は、図２０の状態（ｂ）におけるアバター４Ｃの顔面の状態を示す図である。第３実施形態の前提条件は、各アバターの配置位置を除いて、第１実施形態の前提条件と同一である。

図１９を参照すると、ステップＳ５０において、ユーザ端末１Ａの制御部１２１（以下、単に制御部１２１という。）は、アバター４Ａの視野ＣＶを特定する。次に、制御部１２１は、アバター４Ｂの視線情報を含むアバター４Ｂの制御情報をサーバ２から受信する（ステップＳ５１）。その後、制御部１２１は、アバター４Ｃの視線情報を含むアバター４Ｃの制御情報をサーバ２から受信する（ステップＳ５２）。尚、制御部１２１は、ステップＳ５１の処理の前に、アバター４Ａの制御情報をサーバ２に送信している点に留意されたい。

次に、ステップＳ５３において、制御部１２１は、ユーザＢの音声（例えば、「ねえねえ」）を示す音声データ（ユーザＢの音声データ）をサーバ２から受信した後に、ユーザＢの音声データを加工する。その後、ヘッドフォン１１６は、加工された音声データに基づいてユーザＢの音声を出力する。

次に、制御部１２１は、音声を出力したユーザがユーザＢであると決定した上で、アバター４Ｂの視線ＳＬｂがアバター４Ａを向いている状態でユーザＢの音声データが受信されたかどうかを判定する（ステップＳ５４）。具体的には、制御部１２１は、ユーザＢの音声データがサーバ２から受信されている期間において、アバター４Ｂの視線情報と、アバター４Ｂ，４Ａの位置に関する情報に基づいて、アバター４Ｂの視線ＳＬｂがアバター４Ａに交差するかどうか判定する。ステップＳ４の判定結果がＹＥＳの場合、制御部１２１は、アバター４Ｂがアバター４Ａの視野ＣＶ内に存在するかどうかを判定する（ステップＳ５５）。ステップＳ５５の判定結果がＮＯの場合、制御部１２１は、アバター４Ｂの表示態様を変化させるようにアバター４Ｂを更新する（ステップＳ５６）。

例えば、制御部１２１は、図２０の状態（ｂ）に示すように、アバター４Ｂの顔面の色を変化させてもよい。また、制御部１２１は、アバター４Ｂの顔面以外の所定部位の色や形状等を変化させてもよい。このように、アバター４Ｂの声掛け（「ねえねえ」）に応じて、アバター４Ａがアバター４Ｂの方に振り返った場合に、図２０の状態（ｂ）に示すように、更新されたアバター４Ｂ（顔面の色が変化したアバター４Ｂ）とアバター４Ｃがアバター４Ａの視野ＣＶ内に位置する。つまり、ユーザ端末１ＡのＨＭＤ１１０に、アバター４Ｃと顔面の色が変化したアバター４Ｂを含む視野画像が表示されるので、ユーザＡは、顔面の色が変化したアバター４Ｂを視認することで、アバター４Ａに話し掛けたアバターがアバター４Ｂであることを容易に把握することができる。このように、本実施形態によれば、ユーザＡは、アバター４Ｂの表示態様の変化を視認することで、アバター４Ｂに関連するユーザＢから音声が出力されたことを容易に把握することができる。一方、ステップＳ５４の判定結果がＮＯの場合又はステップＳ５５の判定結果がＹＥＳの場合、アバター４Ｂの表示態様は変化しない。

また、本実施形態によれば、アバター４Ａの視野ＣＶ内にアバター４Ｂが存在しない場合にアバター４Ｂの表示態様が変化する。このように、ユーザＡは、アバター４Ｂから話し掛けられたときに、視野画像Ｖ内にアバター４Ｂが表示されなくても、後程、アバター４Ｂの表示態様の変化を視認することで、アバター４Ｂに関連するユーザＢから音声が出力されたことを容易に把握することができる。尚、アバター４Ｂがアバター４Ａの視野ＣＶ内に存在するときでも、制御部１２１は、アバター４Ｂの表示態様を変化させてもよい。

また、第１〜第３実施形態の説明では、仮想空間２００Ａを示す仮想空間データがユーザ端末１Ａ側で更新されていることを前提としているが、仮想空間データはサーバ２側で更新されてもよい。さらに、第１〜第３実施形態の説明では、視野画像Ｖに対応する視野画像データがユーザ端末１Ａ側で更新されていることを前提としているが、視野画像データはサーバ２側で更新されてもよい。この場合、ユーザ端末１Ａは、サーバ２から送信された視野画像データに基づいて、ＨＭＤ１１０に視野画像を表示する。

また、ユーザ端末１の制御部１２１によって実行される各種処理をソフトウェアによって実現するために、各種処理をコンピュータ（プロセッサ）に実行させるための制御プログラムが記憶部１２３又はメモリに予め組み込まれていてもよい。または、制御プログラムは、磁気ディスク（ＨＤＤ、フロッピーディスク）、光ディスク（ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ、Ｂｌｕ−ｒａｙディスク等）、光磁気ディスク（ＭＯ等）、フラッシュメモリ（ＳＤカード、ＵＳＢメモリ、ＳＳＤ等）等のコンピュータ読取可能な記憶媒体に格納されていてもよい。この場合、記憶媒体が制御装置１２０に接続されることで、当該記憶媒体に格納された制御プログラムが、記憶部１２３に組み込まれる。そして、記憶部１２３に組み込まれた制御プログラムがＲＡＭ上にロードされて、プロセッサがロードされた当該プログラムを実行することで、制御部１２１は各種処理を実行する。

また、制御プログラムは、通信ネットワーク３上のコンピュータから通信インターフェース１２５を介してダウンロードされてもよい。この場合も同様に、ダウンロードされた当該制御プログラムが記憶部１２３に組み込まれる。

以上、本開示の実施形態について説明をしたが、本発明の技術的範囲が本実施形態の説明によって限定的に解釈されるべきではない。本実施形態は一例であって、特許請求の範囲に記載された発明の範囲内において、様々な実施形態の変更が可能であることが当業者によって理解されるところである。本発明の技術的範囲は特許請求の範囲に記載された発明の範囲及びその均等の範囲に基づいて定められるべきである。

Ｕ，Ａ，Ｂ，Ｃ：ユーザ
１，１Ａ，１Ｂ，１Ｃ：ユーザ端末
２：サーバ
３：通信ネットワーク
４Ａ，４Ｂ，４Ｃ：アバター
６Ａ：仮想スクリーン
２１：通信インターフェース
２２：記憶部（ストレージ）
２３：制御部
２４：バス
６０Ａ：表示画面
１００：仮想空間配信システム（配信システム）
１１２：表示部
１１４：センサ
１１６：ヘッドフォン
１１８：マイク
１２０：制御装置
１２１：制御部
１２３：記憶部（ストレージ）
１２４：Ｉ／Ｏインターフェース
１２５：通信インターフェース
１２６：バス
１３０：位置センサ
１４０：注視センサ
２００，２００Ａ，２００Ｂ：仮想空間
２１０：中心位置
３００：仮想カメラ
３２０：外部コントローラ
ＣＶ：視野
Ｃａ，Ｃｂ：交差点

Claims (8)

1. 各々がヘッドマウントデバイスと、音声が入力される音声入力部と、音声が出力される音声出力部とを有する複数のユーザ端末と、サーバとを備えた仮想空間配信システムにおいてコンピュータによって実行される情報処理方法であって、
   前記情報処理方法は、
   （ａ）前記複数のユーザ端末のうち第１ユーザ端末に関連付けられた第１アバターと、前記複数のユーザ端末のうち第２ユーザ端末に関連付けられた第２アバターと、前記複数のユーザ端末のうち第３ユーザ端末に関連付けられた第３アバターとを含む仮想空間を規定する仮想空間データを生成するステップと、
   （ｂ）前記第１ユーザ端末のヘッドマウントデバイスの動きに応じて、前記第１アバターの視野を更新するステップと、
   （ｃ）前記第１アバターの視野と前記仮想空間データに基づいて、前記第１ユーザ端末のヘッドマウントデバイスに視野画像を表示するステップと、
   （ｄ）前記第２ユーザ端末の音声入力部に音声が入力された場合、前記入力された音声を示す音声データを前記第２ユーザ端末から受信するステップと、
   （ｅ）前記ステップ（ｄ）の後に、前記第１ユーザ端末のヘッドマウントデバイスに表示される視野画像上において、前記第２アバターの表示態様又は前記第２アバターの視線の表示態様を変化させるステップと、を含む情報処理方法。
2. （ｆ）前記第２アバターの視線に基づいて第２視線オブジェクトを生成するステップと、
   （ｇ）前記第３アバターの視線に基づいて第３視線オブジェクトを生成するステップと、
   をさらに含み、
   前記ステップ（ｅ）は、
   （ｅ１）前記ステップ（ｄ）の後に、前記第２視線オブジェクトの表示態様を変化させるように前記第２視線オブジェクトを更新するステップと、
   （ｅ２）前記更新された第２視線オブジェクトと前記第３視線オブジェクトが前記第１アバターの視野内に存在する場合に、前記第１ユーザ端末のヘッドマウントデバイスに、前記更新された第２視線オブジェクト及び前記第３視線オブジェクトを含む視野画像を表示させるステップと、
   を含む、請求項１に記載の情報処理方法。
3. 前記第１アバターの視野内に前記第２アバターが存在しない場合に、前記ステップ（ｆ）が実行され、
   前記第１アバターの視野内に前記第３アバターが存在しない場合に、前記ステップ（ｇ）が実行される、請求項２に記載の情報処理方法。
4. 前記ステップ（ｅ）は、
   （ｅ３）前記ステップ（ｄ）の後に、前記第２アバターの視線に基づいて第２視線オブジェクトを生成するステップと、
   （ｅ４）前記第２視線オブジェクトが前記第１アバターの視野内に存在する場合に、前記第１ユーザ端末のヘッドマウントデバイスに、前記第２視線オブジェクトを含む視野画像を表示させるステップと、
   を含む、請求項１に記載の情報処理方法。
5. 前記第１アバターの視野内に前記第２アバターが存在しない場合に、前記ステップ（ｅ３）が実行される、請求項４に記載の情報処理方法。
6. 前記ステップ（ｅ）は、
   （ｅ５）前記ステップ（ｄ）の後であって、前記第２アバターの視線が前記第１アバターを向いている状態で前記第２ユーザ端末の音声入力部に音声が入力された場合に、前記第２アバターの表示態様を変化させるように前記第２アバターを更新するステップと、
   （ｅ６）前記第２アバターが前記第１アバターの視野内に存在する場合に、前記第１ユーザ端末のヘッドマウントデバイスに、前記更新された第２アバターを含む視野画像を表示させるステップと、
   を含む、請求項１に記載の情報処理方法。
7. 前記第１アバターの視野内に前記第２アバターが存在しない場合に、前記ステップ（ｅ５）が実行される、請求項６に記載の情報処理方法。
8. 請求項１から７のうちいずれか一項に記載の情報処理方法をコンピュータに実行させるためのプログラム。